HA構成プロキシ環境を NLBを使って構築してみる

川原征大

2019.11.12

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

前回のブログではプロキシサーバーシングル構成の検証環境を構築しました。

今回は 高可用性(HA)を目的としたプロキシサーバー冗長化 を検証してみます。想定する本番環境は下記の通り。

※ そもそもプロキシサーバーを使用している理由 などは前回のブログを参照ください

環境構築

検証環境は以下のとおりです。

2つの Availability Zone(AZ) にそれぞれサブネットを作成
プロキシサーバーを 2サブネットに配置する Auto Scaling Group を作成
Network Load Balancer (NLB) を使ってターゲットを分散

APPサーバーから NLB → Proxyサーバー経由で Serviceを利用できるか確かめてみます。構築は勉強も兼ねて CloudFormation(CFn)で行います。

github に今回作成した CFnテンプレートを上げています。

00-network.yaml: ネットワークリソース作成用
01-sg.yaml: セキュリティグループ作成用
02-nlb.yaml: NLB 作成用
03-as.yaml: Auto Scaling Group 作成用
04-ec2-service.yaml: サービスサーバー (Linux) 作成用
05-ec2-app.yaml: アプリサーバー (Windows) 作成用

以降、Proxy-VPC内のシステム周りを中心に説明します。

NLB

下記 3リソースを作成します。

LoadBalancer (AWS CloudFormation ドキュメント)
TargetGroup (AWS CloudFormation ドキュメント)
Listener (AWS CloudFormation ドキュメント)

▼— LoadBalancer ---

Type: AWS::ElasticLoadBalancingV2::LoadBalancer
Properties: 
  Name: !Sub ${Prefix}-nlb
  Type: network
  Scheme: internal
  IpAddressType: ipv4
  Subnets: 
    - Fn::ImportValue: !Sub ${Prefix}-subnet2-a
    - Fn::ImportValue: !Sub ${Prefix}-subnet2-c

NLBを作成するので Type: network とします
内部向けを想定しているので Scheme: internal とします
NLBを 2サブネットに設置するための設定を Subnets: に記載します

▼— TargetGroup ---

Type: AWS::ElasticLoadBalancingV2::TargetGroup
Properties: 
  Name: !Sub ${Prefix}-nlb-tg
  TargetType: instance
  Protocol: TCP
  Port: 3128 # squid
  VpcId:
    Fn::ImportValue: !Sub ${Prefix}-vpc2

後ほどこのターゲットグループが Auto Scaling Group と関連付けられます。 NLBはターゲットグループに対して Protocol: TCP 、 Port: 3128 (squidで使うポート番号) のリクエストを送信します。

TargetType: は instance もしくは ip が選択できます。今回は instance を選択しますが、留意点は TargetType: によって NLBから送られる パケットの送信元IPアドレスが変わる ことです。

インスタンス ID を使用してターゲットを指定すると、クライアントの送信元 IP アドレスが保持され、アプリケーションに提供されます。

ターゲットを IP アドレスで指定する場合、送信元 IP アドレスはロードーバランサノードのプライベート IP アドレスとなります｡

(引用: AWS: Network Load Balancer のターゲットグループ)

▼— Listener ---

Type: AWS::ElasticLoadBalancingV2::Listener
Properties: 
  Port: 3128
  Protocol: TCP
  DefaultActions: 
    - Type: forward
      TargetGroupArn: !Ref NLBTargetGroup
  LoadBalancerArn: !Ref NLB

クライアントからのリクエストを Port: 3128 、 Protocol: TCP で受け付けます
DefaultActions: でアクションを設定します。リクエストを指定した TargetGroup へルーティング ( forward ) します。

セキュリティグループ

NLB構成としたことでプロキシサーバーに設定するセキュリティグループの設定内容が少々変わってきます。

Type: AWS::EC2::SecurityGroup
Properties: 
  GroupDescription: SG for Proxy Server
  GroupName: !Sub ${Prefix}-proxy-sg
  VpcId:
    Fn::ImportValue: !Sub ${Prefix}-vpc2
  SecurityGroupIngress:
    - IpProtocol: tcp
      FromPort: 3128
      ToPort: 3128
      CidrIp: 10.0.0.0/24 # from Proxy-VPC (for healthcheck)
    - IpProtocol: tcp
      FromPort: 3128
      ToPort: 3128
      CidrIp: 192.168.0.0/24 # from APP-VPC
    # - IpProtocol: tcp
    #   FromPort: 3128
    #   ToPort: 3128
    #   SourceSecurityGroupId: !Ref AppSG

コメントアウトしている部分が前回のシングル構成時のルールです (クライアントSGからのポート3128を許可)。

今回は NLB経由の接続ですが、 NLBはセキュリティグループを持ちません 。また、 TargetType: instance としているため、 NLBで送信元IPをクライアントのIPに置き換えています 。

そのため、 CIDR形式で 以下の通信を許可する必要があります。

NLBを配置しているネットワークCIDR からの通信 (ヘルスチェックのため)
クライアントを配置しているネットワークCIDR からの通信 (メインの通信のため)

プロキシサーバーのAMI

Auto Scaling で使用する AMIを事前に作成します。

Amazon Linux2 EC2インスタンスを起動して squid のインストール・自動起動の設定をします。設定ファイル /etc/squid/squid.conf の修正内容としては大きく 2つ。

acl localnet src 192.168.0.0/24	# VPC Network (Application side)
acl localnet src 10.0.0.0/24	# VPC Network (Proxy side: for NLB health check)
...
# disable cache
acl NOCACHE src all
cache deny NOCACHE

前 2行でアクセス制御の設定、後ろ2行でキャッシュの無効化を行っています ( 参考: Qiita: Squidのキャッシュ機能を無効化する )。

設定後、AMIを作成します。

Auto Scaling Group

下記 2リソースを作成します。

Launch Configuration (AWS CloudFormation ドキュメント)
Auto Scaling Group (AWS CloudFormation ドキュメント)

▼— Launch Configuration ---

Type: AWS::AutoScaling::LaunchConfiguration
Properties:
  LaunchConfigurationName: !Sub ${Prefix}-launch-configuration
  ImageId: !Ref ProxyServerImageId
  InstanceType: t3.micro
  SecurityGroups: 
    - Fn::ImportValue: !Sub ${Prefix}-proxy-sg
  BlockDeviceMappings: 
    - DeviceName: /dev/xvda
      Ebs:
        DeleteOnTermination: True
        VolumeType: gp2
        VolumeSize: 8
  KeyName: !Ref Ec2KeyName
  # ... 略

ImageId: に事前に作成したAMIの IDを入れます。他は EC2インスタンスを作成するときと同じように設定していきます。

▼— Auto Scaling Group ---

Type: AWS::AutoScaling::AutoScalingGroup
Properties: 
  AutoScalingGroupName: !Sub ${Prefix}-as-group
  LaunchConfigurationName: !Ref LaunchConfiguration
  DesiredCapacity: 2
  MaxSize: 2
  MinSize: 2
  VPCZoneIdentifier:
    - Fn::ImportValue: !Sub ${Prefix}-subnet2-a
    - Fn::ImportValue: !Sub ${Prefix}-subnet2-c
  TargetGroupARNs: 
    - Fn::ImportValue: !Sub ${Prefix}-nlb-tg
  HealthCheckType: ELB
  # ... 略